Anti-Self-Distillation for Reasoning RL via Pointwise Mutual Information
基于逐点互信息的抗自蒸馏推理强化学习
🧭 强化学习训练方法 · 推理优化
Xiaohongshu Inc. · Institute of Automation, Chinese Academy of Sciences
通过逐点互信息分析揭示自蒸馏在推理任务中的失效根源，提出逆向散度与熵门控，使 GRPO 基线训练步数减少 2-10 倍，准确率最高提升 11.5 点
📌 工作参考价值（4 点）
- 信用分配改进：传统 on-policy 自蒸馏在推理任务中会系统性压低探索性 tokens（如“Wait”“Let”）的权重，抬高结构连接词权重，AntiSD 逆向设计可更有效分配 token 级信用，可借鉴到 Agent 多步决策训练，避免模型过早陷入确定性模式。
- 熵门控机制：当教师熵崩塌时自动关闭蒸馏项，防止后期训练坍缩。在电商对话或 Agent 规划中，可类似监控策略熵，动态切换训练信号，避免多样性丧失。
- 训练加速：将 AntiSD 作为 GRPO 的即插即用替换，可在极少量训练步内达到基线性能，适合资源受限的线上模型迭代，可直接复用到有 token 级反馈的 RLVR 场景。
- 超参鲁棒性：方法对额外超参不敏感，工程落地成本低，可将“抗自蒸馏”视作一种通用的训练 trick 加入现有 RLHF/GRPO 流程。